• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    影像之移動向量估算方法，包含有下列步驟：從影像信號中選取第一影像畫面、第二影像畫面以及第三影像畫面；在該第二影像畫面上產生一第二比對視窗；提供複數個候選向量來相對應產生複數個判斷值；根據該等判斷值來從該等候選向量中選出該第二影像之一移動向量；以及當該移動向量所對應之像素差值符合一特定模式時，便根據該等像素差值來從該等候選向量中重新選出該第二影像之移動向量。
    公开号:TW201306586A
    申请号:TW101125577
    申请日:2008-04-03
    公开日:2013-02-01
    发明作者:Chia-Hao Chung
    申请人:Mstar Semiconductor Inc；
    IPC主号:H04N19-00
    专利说明:
    影像之移動向量估算方法
    本案係為一種影像之移動向量估算方法，尤指一種進行解交錯之影像之移動向量估算方法。
    在影像信號格式中，交錯式(interlaced)與非交錯式(Non-interlaced或稱progressive)之影像格式被廣泛應用於各種系統中，因此影像信號在各系統間進行傳送與顯示時，便經常有機會對交錯式與非交錯式之格式進行轉換。但是由於交錯式影像格式之相鄰畫面間彼此缺乏相同位置之像素點資料，因此便發展出移動估計(motion estimation)的概念來進行解交錯運算。而移動估計是基於區塊間的差異值而產生。
    然而，在具有某種特殊圖案條件下之交錯影像，利用移動估計為基礎的演算法來對其進行解交錯是不適合，因為會造成畫面明顯失真之缺失。而為能預先避免錯誤，於是利用某些演算法來提早偵測出具有某種特殊圖案條件之交錯影像，進而改用其他方式來完成解交錯運算，是目前被積極發展的一種錯誤防護(Error protection)方法，但目前仍未有妥善的解決方案被提出，因此如何解決上述問題，便成為本案發展的主要目的。
    本案係為一種影像之移動向量估算方法，包含有：從一影像信號中選取一第一影像畫面、一第二影像畫面以及一第三影像畫面；在該第二影像畫面上產生一第二比對視窗；提供複數個候選向量來相對應產生複數個判斷值，而相對應一測試向量之一判斷值之產生方法包含；根據該第二比對視窗之位置以及該測試向量，分別在該第一影像畫面與第三影像畫面上產生一第一比對視窗與一第三比對視窗；根據該第一比對視窗內像素之像素值以及該第二比對視窗內像素之像素值，來產生一第一像素差值；根據該第二比對視窗內像素之像素值以及該第三比對視窗內像素之像素值，來產生一第二像素差值；根據該第一比對視窗內像素之像素值以及該第三比對視窗內像素之像素值，來產生一第三像素差值；以及根據該第一、第二以及第三像素差值來產生對應該移動向量之一判斷值；根據該等判斷值來從該等候選向量中選出該第二影像之一移動向量；以及當該移動向量所對應之該第一、第二以及第三像素差值符合一第一特定模式時，便根據該等第一像素差值來從該等候選向量中重新選出該第二影像之移動向量。
    根據上述構想，本案所述之影像之移動向量估算方法，其中更包含下列步驟：當該移動向量所對應之該第一、第二以及第三像素差值符合一第二特定模式時，便根據該等第二像素差值來從該等候選向量中重新選出該第二影像之移動向量。
    根據上述構想，本案所述之影像之移動向量估算方法，其中該第一特定模式為：該第二像素差值與該第三像素差值皆大於一第一門檻值，且該第一像素差值小於一第二門檻值，其中該第一門檻值大於該第二門檻值，而該第二特定模式則可為：該第一像素差值與該第三像素差值皆大於該第一門檻值，且該第二像素差值小於該第二門檻值，其中該第一門檻值大於該第二門檻值。
    根據上述構想，本案所述之影像之移動向量估算方法，其中根據該等第一像素差值來從該等候選向量中重新選出該影像之移動向量之步驟則為：用該等第一像素差值中之最小值所對應之移動向量來取代原先之該移動向量，而根據該等第二像素差值來從該等候選向量中重新選出該影像之移動向量之步驟則為：用該等第二像素差值中之最小值所對應之移動向量來取代原先之該移動向量。
    根據上述構想，本案所述之影像之移動向量估算方法，其中該判斷值係為該第一、第二以及第三像素差值之總合，進而根據該等判斷值中之最小值來從該等候選向量中對應出該移動向量。
    請參見第一圖(a)，其係為本案所發展出來之影像處理裝置之第一較佳實施例示意圖，其可應用於任何需要有解交錯功能之影像處理電路晶片中，其中移動估計模組30係用以接收連續三幅交錯式圖場Fn-1、Fn、Fn+1來進行移動向量(motion vector)之估計，而估計所得到之移動向量便送至畫面間(inter)運算模組32，而讓畫面間運算模組32可根據Fn-1、Fn+1及移動向量等三個資料來運算出一畫面間推估圖框(frame)Finter，至於畫面內(intra)運算模組31則可根據Fn本身原本具有的像素值來運算出一畫面內推估圖框Fintra，而上述移動估計模組30、畫面內運算模組31與畫面間運算模組32皆有許多現成技術手段可運用，故在此不再贅述。
    本案之影像處理裝置另包含一混合單元(Blending unit)35，主要是用來根據一權重值α來將畫面間推估圖框Finter及畫面內推估圖框Fintra中之每一像素點進行混合，進而得出Fn中原本缺少之像素值，進而完成解交錯的運算，舉例來說，Fn,i=α×Fintra+(1-α)×Finter，該權重值α為介於0與1間之一數值(0≦α≦1)。而如何求出權重值α，本案於下列說明提供一較佳實施例。首先，利用第一圖(a)中所示之權重值產生器39中之移動向量正確性偵測器(MV correctness detector)33來根據交錯式圖場Fn-1、Fn、Fn+1與畫面間推估圖框Finter來計算出差值絕對值的總和(Sum of Absolute Difference；SAD)、代表一區塊中具有不可靠的插補像素之多寡的交錯式像素計數值(Interlaced Pixel Count，以下簡稱IPC)以及區塊分類(block classification)等三個數值，進而提供階層式區塊模式決定模組(hierarchical block mode decision)34來進行判斷，最後決定出對應每一個需解交錯像素點之一權重值α的數值。該權重值α可用來代表對應該需解交錯像素點之移動向量的適合程度。
    另外，因為差值絕對值的總和也可以從移動估計模組30在進行移動向量之估計時一併獲得，因此如第一圖(b)之功能方塊示意圖係為本案影像處理裝置之第二較佳實施例，其與第一較佳實施例之不同處在於差值絕對值的總和係由移動估計模組30運算得到而再提供給階層式區塊模式決定模組34。
    再請參見第二圖，其係階層式區塊模式決定模組34內所執行之移動向量合適程度判斷之流程示意圖，首先，先將交錯圖場Fn分割成許多矩形的小區域(例如常見的巨區塊(macroblock，MB)，尺寸可為16＊16個像素點)，然後以每一個巨區塊為單位，利用一第一驗證程序41來判斷其移動向量之適合程度，進而至少將每一個巨區塊分成“適合程度高”與“適合程度低”兩類，接著將每一個巨區塊再分割成更小的子區塊(例如8＊8個像素點)然後再送入第二驗證程序42來進行其移動向量合適程度之判斷，進而至少得出對應每一個子區塊之“適合程度高”或“適合程度低”的分類，而當“適合程度高”之該巨區塊中之一子區塊亦為“適合程度高”時，便判斷該巨區塊的移動向量適用於該子區塊，因此可較信賴移動補償之結果，此時可將α設為較小(例如0)，如此一來，該子區塊中需要解交錯之像素點便為Fn,i=0×Fintra+(1-0)×Finter=Finter。反之，當“適合程度低”之該巨區塊中之一子區塊為“適合程度低”時，則判斷該巨區塊的移動向量不適用於該子區塊，因此較不信賴移動補償之結果，此時可將α設為較大(例如1)，使得該子區塊中需要解交錯之像素點改以畫面內推估圖框Fintra內對應之像素點來完成。至於當“適合程度高”之該巨區塊中之一子區塊為“適合程度低”，或“適合程度低”之該巨區塊中之一子區塊為“適合程度高”時，則再將該子區塊切割成複數個次子區塊(例如4＊4個像素點)後再分別進行一第三驗證程序43，進而判斷出該次子區塊為“適合程度高”或“適合程度低”。同樣地，當該次子區塊為“適合程度高”時，便將相對應該次子區塊之α設為較小但比0大，當該次子區塊為“適合程度低”時，則將相對應該次子區塊之α設為較大但比1小。有關α值的設定範例亦可參閱第二圖。而以相同的判斷邏輯，當然還可以再將區塊再往更小單位(例如2＊2甚至到1＊1個像素點)切割，如此將可提高移動向量適合程度判斷之精確度。如此一來，利用本案所提出之區塊模式決定方法，將可有效地提高移動向量適合程度判斷之精確度，進而讓解交錯後之影像品質更佳。
    至於上述之第一驗證程序41、第二驗證程序42及第三驗證程序43之基本原理皆為相同，只是因為驗證對象之尺寸不同，從16＊16到4＊4不等，因此有些許用來進行比對之門檻數值大小必須進行調整，其細節如下所述。
    在第一圖(a)的實施例中，驗證程序中所需要之差值絕對值的總和、交錯式像素計數值(IPC)以及區塊分類等三個數值則由移動向量正確性偵測器33來找出。首先，先說明移動向量正確性偵測器33如何對交錯圖場Fn內之每一像素點進行分類，如第三圖之所示，本案係根據同一圖場中與像素點f(x,y,n)周邊相關的像素點，例如上下相鄰的像素點f(x,y+2,n)、f(x,y-2,n)以及左右相鄰的像素點f(x+1,y,n)、f(x-1,y,n)，來進行下列兩個式子的高通濾波運算，進而得到兩個參數Dv、Dh來進行根據門檻值Tv、Th來進行判斷，當Dv<Tv時，便判斷該像素點f(x,y,n)位於一平滑或垂直邊界區域(smooth or vertical edge area)，而當Dv>Tv且Dh<Th時，則判斷該像素點f(x,y,n)位於一水平邊界區域(horizontal edge area)，至於當Dv>Tv且Dh>Th時，則判斷該像素點f(x,y,n)位於一斜線邊界或複雜區域(oblique edge or texture region)。
    D v =|-f(x,y-2,n)+2f(x,y,n)-f(x,y+2,n)|
    D h =|-f(x-1,y,n)+2f(x,y,n)-f(x+1,y,n)|
    而在每一個像素點之分類決定後，便可根據下列分類法再來進行區塊之分類，首先，只要當一區塊內屬於斜線邊界或複雜區域之像素點的數量總和大於一數量門檻值THT時，該區塊便被定義成一複雜區塊(texture block)；而當上述條件不成立但該區塊內屬於水平邊界區域之像素點的數量總和大於一另一數量門檻值THH時，該區塊便被定義成一水平邊界區域區塊(horizontal edge block)；又當上述兩個條件皆不成立時，則以三類像素點的數量總和中何者最大來決定其分類。於是，上述各種尺寸之區塊(巨區塊、子區塊、次子區塊)都可經過上述分類方法而得到其分類，本例為複雜區塊、水平邊界區域區塊及平滑或邊界區域區塊等三種分類，只是數量門檻值THT、THH將會隨區塊尺寸之不同而有所不同。
    接著請參見第四圖，其係用以判斷被插補出的像素與原始像素之相關性之方法的示意圖，其係將畫面間推估圖框Finter中任一點經插補出來之像算點f(x,y,n)及其上下相鄰的多個像素點f(x,y-2,n)、f(x,y-1,n)、f(x,y+1,n)、f(x,y+2,n)之相鄰兩點之像素差值分別送入第一運算單元SD1、第二運算單元SD2、第三運算單元SD3、第四運算單元SD4進行運算，而上述運算單元SD1、SD2、SD3、SD4皆根據下列運算法則來輸出1、0或-1：(i)當輸入值大於一門檻值時輸出1；(ii)當輸入值小於該門檻值之負值時輸出-1以及(iii)其他狀況則輸出0。而相鄰運算單元SD1、SD2、SD3、SD4之輸出值經過相乘得到三個乘積值後再相加得到一結果，若該結果小於等於-2(即，(SD1×SD2+SD2×SD3+SD3×SD4)-2)時，便代表該像素點f(x,y,n)在垂直方向上有例如“+-+-”之高頻斜率轉換(high frequency slope transition)，代表該被插補出的像素與原始像素的相關性較低。累計一區塊中屬於與原始像素的相關性較低的像素之數量總和便是代表該區塊之IPC，因此上述各種尺寸之區塊(巨區塊、子區塊、次子區塊)都可經過上述方法而得到其相對應之IPC。
    至於SAD則可利用第一圖(a)中之移動向量正確性偵測器33，或是從第一圖(b)中之移動估計模組30來計算得到，而其演算法有許多種，關於常見的習用手段便不再贅述，而本案則提供一個如第五圖(a)(b)(c)所示的估計方法來算出SAD。
    請先參見第五圖(a)，首先定義出一交錯式動態影像信號中至少包含於時間軸上連續之三個圖場(field)：一第一類之第一交錯圖場51、一第二類之交錯圖場52以及一第一類之第二交錯圖場53，舉例來說，該第一類交錯圖場可為奇圖場，而該第二類交錯圖場可為偶圖場；或是該第一類交錯圖場可為偶圖場，而該第二類交錯圖場可為奇圖場。
    而本案用以運算出SAD之方法則主要包含下列步驟：
    (i)於包含有複數個第二待估計像素點之該第二類之交錯圖場52中定義出一區塊520，該區塊中包含有該等第二待估計像素點以及複數個原始像素點。舉例來說，當交錯式動態影像信號之圖框(frame)尺寸為800＊600個像素點時，該第二類之交錯圖場係可為一交錯式動態影像信號中之偶(奇)圖場，因此它僅具有800＊300個像素點。而於其中定義出之該區塊的尺寸可為4＊4、8＊8或16＊16個像素點，但該區塊中卻只具有4＊2、8＊4、16＊8個原始像素點，另外一半則是該等第二待估計像素點。
    (ii)接著，將第一類之第一交錯圖場51與第一類之第二交錯圖場53內之像素點進行一預先插補運算，以得到屬於該第一類之第一交錯圖場之複數個第一待估計像素點之預估像素值以及屬於該第一類之第二交錯圖場之複數個第三待估計像素點之預估像素值，進而形成一第一預解交錯圖場與一第二預解交錯圖場。沿用上例來說，該第一類之交錯圖場係可為一交錯式動態影像信號中之奇(偶)圖場，因此它僅具有800＊300個像素點，於是便進行預先插補運算來得到另外800＊300個待估計像素點之預估像素值。而該預先插補運算可為一數值內插運算，其可以將該第一類之第一交錯圖場與該第一類之第二交錯圖場中上下相鄰像素點之色彩值相加再平均後所得到之色彩值來做為該第一預解交錯圖場與該第二預解交錯圖場中該等待估計像素點之預估色彩值。而此類運算相當多種類且為一般公知技術，故不一一贅述。
    (iii)再來，根據該區塊520於該第二類之交錯圖場中位置之一第二座標5200(例如該區塊左上角像素點之座標)以及一組待選向量(CP、CB、CN)，在該第一預解交錯圖場與該第二預解交錯圖場中分別定義出一第一待選區塊510與一第二待選區塊530。而該組待選向量中之第一向量CB，其係由該第二座標5200指向該第一待選區塊510於該第一預解交錯圖場中位置之第一座標5100，而第二向量CB，其係由該第一座標5100指向該第二待選區塊530於該第二預解交錯圖場中位置之第三座標5300，而從圖可看出，該第一向量CP與該第二向量CB平行，至於該第三向量CN與該第一向量CP為反向，其係由該第二座標5200指向該第三座標5300。
    (iv)接著，運算出分別對應該組待選向量(CP、CB、CN)之三個SAD，其中第一SAD數值為該區塊520中至少一個但最佳是全部的原始像素點與位於該第一待選區塊510中同樣相對位置之至少一個但最佳是複數個的第一比較像素點間之像素差值絕對值之總合；第二SAD數值則為位於該第一待選區塊510中至少一個但最佳是複數個的第二比較像素點與該第二待選區塊530中同樣相對位置之至少一個但最佳是複數個的第三比較像素點間之像素差值絕對值之總合；第三SAD數值為該區塊520中至少一個但最佳是全部的原始像素點與位於該第二待選區塊530中同樣相對位置之至少一個但最佳是複數個的第四比較像素點間之像素差值絕對值之總合。
    至於上述之第一比較像素點與第二比較像素點係可從該第一待選區塊510中具有預估像素值之待估計像素點與原始像素點中，因應該區塊320中原始像素點的位置而對應選出；該等第三比較像素點與第四比較像素點則可從該第二待選區塊530中之具有預估像素值之待估計像素點與原始像素點中，因應該區塊520中原始像素點的位置而對應選出。而第五圖(b)便是以8＊8的區塊為例之像素點示意圖，其中該第一待選區塊510與該第二待選區塊530中之待估計像素點係以方形代表，而該區塊520、該第一待選區塊510與該第二待選區塊530中之原始像素點則以圓形代表，而該區塊520中所缺少之像素點則以三角形代表。其中該第一待選區塊510與該第二待選區塊530中之待估計像素點與原始像素點之分布位置會隨第一座標5100與第三座標5300改變而對調，例如待估計像素點變成偶數條，而原始像素點變成奇數條，但是第一待選區塊510與該第二待選區塊530會是一起變化。至於該區塊520中之三角形與圓形之分布位置也會隨第二座標5200之改變而對調。
    而上述對應於一區塊中之三個SAD數值(以下稱為一SAD數值組)估算出來之後，便可進一步被移動估計模組30運用，用以完成該區塊移動向量之估算，該估算方法則包含下列步驟：(i)改變該組待選向量之大小或方向，進而運算出對應複數組待選向量之複數個SAD數值組；以及(ii)由複數個SAD數值組中選取一SAD數值組，並以被選取之SAD數值組所對應之該組向量中之第一向量CP或第三向量CN為一最適合的移動向量。而最佳者係由複數個SAD數值組中選取總和為最小之該SAD數值組，並以被選取之SAD數值組所對應之該組向量中之第一向量CP或第三向量CN為該最適合的移動向量，例如當對應於第一向量CP之SAD數值小於對應於第三向量CN之SAD數值時，便選用該組向量中之第一向量CP來做為該影像區塊之最適合的移動向量。
    因此本案係揭露了一種估算一影像之一移動向量的方法，其包含有如第五圖(c)所示之步驟流程圖：
    步驟(a)：從一影像訊號中選取一第一影像畫面、一第二影像畫面以及一第三影像畫面，其中該第一影像畫面包含有複數個第一原始像素，該第二影像畫面包含有複數個第二原始像素，該第三影像畫面包含有複數個第三原始像素，而該第一、第二、第三影像畫面係為在時間上連續之影像畫面。當然，該第一、第二、第三影像畫面係可各代表一交錯式影像圖場，其中該第一、第三影像畫面係同為奇圖場或偶圖場，而該第二影像畫面係為與該第一、第三影像畫面相異之另一種類之圖場。
    步驟(b)：進行一插補運算以在該第一影像畫面與該第三影像畫面中分別產生複數個第一插補像素以及複數個第三插補像素；
    步驟(c)：在該第二影像畫面上產生一第二比對視窗，該第二比對視窗係包含複數個該第二原始像素；
    步驟(d)：從複數個候選向量中選取一測試向量；
    步驟(e)：根據該第二比對視窗之位置以及該測試向量，在該第一影像畫面上產生一第一比對視窗，該第一比對視窗係包含有複數個該第一原始像素以及複數個該第一插補像素，而該第一比對視窗之位置係為該第二比對視窗之位置沿該測試向量移動後，投影於該第一影像畫面之位置，而該第一插補像素係根據該第一原始像素及/或與該第一影像畫面時間軸上相鄰之影像畫面的像素來產生；
    步驟(f)：根據該第二比對視窗之位置以及該測試向量，在該第三影像畫面上產生一第三比對視窗，該第三比對視窗係包含有複數個該第三原始像素以及複數個該第三插補像素，而該第三比對視窗之位置係為該第二比對視窗之位置沿該測試向量之相反方向移動該測試向量之距離後，投影於該第三影像畫面之位置，而該第三插補像素係根據該第三原始像素及/或與該第三影像畫面時間軸上相鄰之影像畫面的像素來產生；
    步驟(g)：根據該第一比對視窗內像素之像素值以及該第二比對視窗內像素之像素值，來產生一第一像素差值(即上述之第一SAD數值)，而該第一像素差值可為複數個該第一插補像素之像素值與複數個該第二原始像素之像素值之差值絕對值的總合，或是該第一像素差值可為複數個該第一原始像素之像素值與複數個該第二原始像素之像素值之差值絕對值的總合；
    步驟(h)：根據該第二比對視窗內像素之像素值以及該第三比對視窗內像素之像素值，來產生一第二像素差值(即上述之第二SAD數值)，而該第二像素差值可為複數個該第三插補像素之像素值與複數個該第二原始像素之像素值之差值絕對值的總合，或是該第二像素差值可為複數個該第三原始像素之像素值與複數個該第二原始像素之像素值之差值絕對值的總合；
    步驟(i)：根據該第一比對視窗內像素之像素值以及該第三比對視窗內像素之像素值，來產生一第三像素差值(即上述之第三SAD數值)，而該第三像素差值係為複數個該第一原始像素之像素值與複數個該第三原始像素之像素值之差值絕對值的總合；以及
    步驟(j)：根據該第一、第二以及第三像素差值(即上述之SAD數值組)來決定是否以該測試向量作為該影像之該移動向量。
    而上述各種尺寸之區塊(巨區塊、子區塊、次子區塊)都可經過上述方法而得到其相對應之SAD數值組。
    而通常可以利用各個候選向量所對應到該第一、第二以及第三像素差值的總和所形成的判斷值來當做進行判斷之依據，例如以該等判斷值中最小值所對應到之移動向量，便可以是當作該影像之一移動向量。
    但是，發明人觀察出有一種特別的狀況會讓上述判斷產生錯誤，也就是移動的物體僅出現在第一影像畫面與第二影像畫面，而在第三影像畫面中消失了，或是原來不存在第一影像畫面中，卻出現在第二影像畫面與第三影像畫面。而因上述移動向量估計之技術理論皆是建立在移動的物體皆出現三個連續影像畫面的假設上，因此這種特別的狀況將很容易導致錯誤。以第五圖(d)為例，移動物體80於畫面背景81移動，其存在於第一影像畫面與第二影像畫面中，只是位置有所改變，但是到第三影像畫面中卻被畫面背景81中的另一物件82所遮蓋而消失了大半部，因此若只根據該第一、第二以及第三像素差值的總和所形成的判斷值來進行判斷，找出錯誤的移動向量的可能性便會大增。
    換句話說，該等判斷值中最小值所對應到之移動向量將可能不會是最適當的，因此只能將其當作一暫定移動向量，然後再導入下列作法來改善此一缺失：首先，我們必須能檢測出例如第六圖所示之狀態，而由圖可觀察出，由於移動物體80僅存在於第一影像畫面與第二影像畫面中而於第三影像畫面中消失大半，因此組成該最小判斷值之該第一、第二以及第三像素差值中之該第一像素差值應該明顯比第二以及第三像素差值為小，反之，當移動物體80僅存在於第二影像畫面與第三影像畫面中而於第一影像畫面中消失大半時，組成該最小判斷值之該第一、第二以及第三像素差值中之該第三像素差值應該明顯比第一以及第二像素差值為小。
    於是我們將檢視組成該最小判斷值之該第一、第二以及第三像素差值是否符合一第一特定模式或一第二特定模式，若該第一、第二以及第三像素差值皆不符合該第一特定模式及該第二特定模式，便可認定該暫定移動向量確定可用，但假如該第一、第二以及第三像素差值符合該第一特定模式，便捨棄該暫定移動向量而僅根據該等第一像素差值來從該等候選向量中重新選出該影像之移動向量。同理，也可再當該第一、第二以及第三像素差值符合該第二特定模式時，捨棄該暫定移動向量但改根據該等第二像素差值來從該等候選向量中重新選出該影像之移動向量。
    舉例來說，上述第一特定模式可為：第二像素差值與第三像素差值皆大於一第一門檻值，且該第一像素差值小於一第二門檻值，其中第一門檻值大於第二門檻值。至於第二特定模式則可為：第一像素差值與第三像素差值皆大於該第一門檻值，且該第二像素差值小於該第二門檻值，其中第一門檻值大於第二門檻值。至於僅根據該等第一像素差值來從該等候選向量中重新選出該影像之移動向量之步驟則為可用該等第一像素差值中之最小值所對應之移動向量來取代原先之暫定移動向量。同理，僅根據該等第二像素差值來從該等候選向量中重新選出該影像之移動向量之步驟則為可用該等第二像素差值中之最小值所對應之移動向量來取代原先之暫定移動向量。而上述方法可應用至使用到CP、CB、CN三個方向之移動向量估測演算法上，用以補足因第三圖(d)例外所造成之錯誤。
    再者，為了能更正確判斷出區塊移動向量的適合程度，本案便根據上述參數SAD、IPC及區塊分類(block classification)來發展出下列之移動向量適合程度判斷方法。例如，因區塊分類中之三種區塊有著不同的特性，因此需要對應到不同的判斷準則，吾人可根據三種區塊分類而搭配三個不同的IPC與SAD的相關性來進行適合程度之判斷。
    以下用16＊16之一巨區塊為例進行說明，首先根據區塊分類中之三種區塊：複雜區塊、水平邊界區域區塊及平滑或邊界區域區塊來預先決定三個判斷準則，於是對於要進行判斷之該巨區塊而言，先利用第三圖所示之方法來判斷出該巨區塊是屬於區塊分類中之那一種區塊，然後根據該區塊種類對應出一個判斷準則，而該判斷準則係由多個IPC門檻值與SAD門檻值所構成，以在IPC門檻值與SAD門檻值所形成的座標圖上劃分成複數個區域，再根據該區塊的SAD值與IPC值來決定該移動向量適用於該區塊之程度。如第六圖所示，IPC門檻值與SAD門檻值所形成的座標圖上被劃分成三個區域I、II、III，而三個區域代表的適合程度為III>II>I。其中複雜區塊、水平邊界區域區塊及平滑或邊界區域區塊皆會形成類似第六圖所示之判斷圖來進行適合程度之判斷。同理，不同尺寸區塊的差別僅在於區塊內的像素數量，因此IPC門檻值與SAD門檻值之數值皆會隨之調整，以符合實際需求。第二圖所示的判斷方法係基於簡化後的判斷條件，也就是假設IPC門檻值與SAD門檻值所形成的座標圖上僅被劃分成二個區域，而被分別給予“適合”與“不適合”之判斷結果。如此將判斷條件簡化是基於說明上的方便與簡潔，然而不應以此作為本發明的限制。
    綜上所述，本案之方法與裝置係完整考慮各種圖塊分類之變異，用以提供具有可適性的適合程度判斷方法，因此可有效改善習用手段中產生誤判而導致畫面失真之問題。是故，本案技術手段可解決習用缺失，進而達成發展本案的主要目的。然本發明得由熟習此技藝之人士任施匠思而為諸般修飾，然皆不脫如附申請專利範圍所欲保護者。
    本案圖式中所包含之各元件列示如下：
    30‧‧‧移動估計模組
    31‧‧‧畫面內運算模組
    32‧‧‧畫面間運算模組
    33‧‧‧移動向量正確性偵測器
    34‧‧‧階層式區塊模式決定模組
    35‧‧‧混合單元
    39‧‧‧權重值產生器
    41‧‧‧第一驗證程序
    42‧‧‧第二驗證程序
    43‧‧‧第三驗證程序
    SD1、SD2、SD3、SD4‧‧‧運算單元
    520‧‧‧區塊
    51‧‧‧第一類之第一交錯圖場
    52‧‧‧第二類之交錯圖場
    53‧‧‧第一類之第二交錯圖場
    510‧‧‧第一待選區塊
    530‧‧‧第二待選區塊
    CP‧‧‧第一向量
    CB‧‧‧第二向量
    CN‧‧‧第三向量
    5100‧‧‧第一座標
    5200‧‧‧第二座標
    5300‧‧‧第三座標
    80‧‧‧移動物體
    81‧‧‧畫面背景
    82‧‧‧另一物件
    本案得藉由下列圖式及詳細說明，俾得一更深入之了解：第一圖(a)，其係為本案所發展出來之影像處理裝置示意圖。
    第一圖(b)，其係為本案所發展出來之另一影像處理裝置示意圖。
    第二圖，其係階層式區塊模式決定模組內所執行之一區塊模式決定方法流程示意圖。
    第三圖，其係同一圖場中與像素點f(x,y,n)周邊相關的像素點示意圖。
    第四圖，其係用以判斷出是否為一不可靠之插補像素之偵測器架構示意圖
    第五圖(a)，其係為本案用於運算出SAD數值之示意圖。
    第五圖(b)，其係為8＊8區塊之像素點示意圖。
    第五圖(c)，其係為本案用於估算影像之移動向量的方法流程圖。
    第五圖(d)，其係為移動物體於畫面背景中移動之示意圖。
    第六圖，其係隨區塊分類而具有不同適合程度判斷準則之示意圖。
    30‧‧‧移動估計模組
    31‧‧‧畫面內運算模組
    32‧‧‧畫面間運算模組
    33‧‧‧移動向量正確性偵測器
    34‧‧‧階層式區塊模式決定模組
    35‧‧‧混合單元
    39‧‧‧權重值產生器
    权利要求:
    Claims (5)
    [1] 一種影像之移動向量估算方法，包含有：從一影像信號中選取一第一影像畫面、一第二影像畫面以及一第三影像畫面；在該第二影像畫面上產生一第二比對視窗；提供複數個候選向量來相對應產生複數個判斷值，而相對應一測試向量之一判斷值之產生方法包含；根據該第二比對視窗之位置以及該測試向量，分別在該第一影像畫面與第三影像畫面上產生一第一比對視窗與一第三比對視窗；根據該第一比對視窗內像素之像素值以及該第二比對視窗內像素之像素值，來產生一第一像素差值；根據該第二比對視窗內像素之像素值以及該第三比對視窗內像素之像素值，來產生一第二像素差值；根據該第一比對視窗內像素之像素值以及該第三比對視窗內像素之像素值，來產生一第三像素差值；以及根據該第一、第二以及第三像素差值來產生對應該移動向量之一判斷值；根據該等判斷值來從該等候選向量中選出該第二影像之一移動向量；以及當該移動向量所對應之該第一、第二以及第三像素差值符合一第一特定模式時，便根據該等第一像素差值來從該等候選向量中重新選出該第二影像之移動向量。
    [2] 如申請專利範圍第1項所述之影像之移動向量估算方法，其中更包含下列步驟：當該移動向量所對應之該第一、第二以及第三像素差值符合一第二特定模式時，便根據該等第二像素差值來從該等候選向量中重新選出該第二影像之移動向量。
    [3] 如申請專利範圍第2項所述之影像之移動向量估算方法，其中該第一特定模式為：該第二像素差值與該第三像素差值皆大於一第一門檻值，且該第一像素差值小於一第二門檻值，其中該第一門檻值大於該第二門檻值，而該第二特定模式則可為：該第一像素差值與該第三像素差值皆大於該第一門檻值，且該第二像素差值小於該第二門檻值，其中該第一門檻值大於該第二門檻值。
    [4] 如申請專利範圍第2項所述之影像之移動向量估算方法，其中根據該等第一像素差值來從該等候選向量中重新選出該影像之移動向量之步驟則為：用該等第一像素差值中之最小值所對應之移動向量來取代原先之該移動向量，而根據該等第二像素差值來從該等候選向量中重新選出該影像之移動向量之步驟則為：用該等第二像素差值中之最小值所對應之移動向量來取代原先之該移動向量。
    [5] 如申請專利範圍第1項所述之影像之移動向量估算方法，其中該判斷值係為該第一、第二以及第三像素差值之總合，進而根據該等判斷值中之最小值來從該等候選向量中對應出該移動向量。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI504267B|2015-10-11|影像之移動向量估算方法
    JP4997281B2|2012-08-08|イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
    US20110115790A1|2011-05-19|Apparatus and method for converting 2d image signals into 3d image signals
    US8363985B2|2013-01-29|Image generation method and apparatus, program therefor, and storage medium which stores the program
    JP2000261828A|2000-09-22|立体映像生成方法
    KR20070076337A|2007-07-24|에지영역 판단장치 및 에지영역 판단방법
    US20060050990A1|2006-03-09|Pixel interpolation circuit, pixel interpolation method and image reader
    US20050195324A1|2005-09-08|Method of converting frame rate of video signal based on motion compensation
    TWI491258B|2015-07-01|決定移動向量的方法及其相關裝置
    TWI490819B|2015-07-01|影像處理方法及其裝置
    US20100091126A1|2010-04-15|Method and unit for motion detection based on a difference histogram
    TWI288896B|2007-10-21|Method and apparatus of deinterlacing
    TWI408621B|2013-09-11|影像插補處理裝置及其方法
    WO2009140916A1|2009-11-26|视频数据的去隔行方法、去隔行装置及视频处理系统
    US9495728B2|2016-11-15|Method for edge detection, method for motion detection, method for pixel interpolation utilizing up-sampling, and apparatuses thereof
    US8126063B2|2012-02-28|System and method for still object detection based on normalized cross correlation
    JP3893263B2|2007-03-14|動きベクトル検出装置
    TWI342157B|2011-05-11|De-interlacing methods and related apparatuses
    TWI466550B|2014-12-21|多媒體裝置及其移動偵測方法
    JP2001094951A|2001-04-06|走査線補間方法
    JP2009290277A|2009-12-10|信号処理装置
    CN107124617A|2017-09-01|运动估计运动补偿中随机矢量的生成方法及系统
    TWI390962B|2013-03-21|水平線的移動偵測方法
    JP2006041619A|2006-02-09|画像処理装置
    JP2011228975A|2011-11-10|映像ノイズ検知装置
    同族专利:
    公开号 | 公开日
    TW200841142A|2008-10-16|
    CN101222604B|2010-06-09|
    US20080246884A1|2008-10-09|
    TWI504267B|2015-10-11|
    TWI373696B|2012-10-01|
    US20080246885A1|2008-10-09|
    US8199252B2|2012-06-12|
    TW200841735A|2008-10-16|
    TWI408963B|2013-09-11|
    CN101272451B|2010-10-13|
    CN101222604A|2008-07-16|
    CN101272451A|2008-09-24|
    US8644387B2|2014-02-04|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    US10686968B1|2019-02-27|2020-06-16|Augentix Inc.|Motion detection method and circuit thereof|US200619A||1878-02-26||Improvement in boot and shoe holders |
    EP0697788A3|1994-08-19|1997-03-26|Eastman Kodak Co|Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing|
    FR2790852B1|1999-03-08|2001-04-20|Thomson Multimedia Sa|Procede d'evaluation d'images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede|
    US6633677B1|1999-12-30|2003-10-14|Stmicroelectronics, Inc.|Method and apparatus for processing an image in an image compression/decompression system that uses hierachical coding|
    JP4765194B2|2001-05-10|2011-09-07|ソニー株式会社|動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム|
    JP4114859B2|2002-01-09|2008-07-09|松下電器産業株式会社|動きベクトル符号化方法および動きベクトル復号化方法|
    CN1194553C|2002-04-18|2005-03-23|华为技术有限公司|一种图象运动估计方法|
    JP4130783B2|2002-04-23|2008-08-06|松下電器産業株式会社|動きベクトル符号化方法および動きベクトル復号化方法|
    US7327788B2|2002-07-02|2008-02-05|Matsushita Electric Industrial.Co., Ltd.|Motion vector derivation method, dynamic image encoding method, and dynamic image decoding method|
    US7145950B2|2003-07-14|2006-12-05|Primax Electronics Ltd.|Method of motion vector determination in digital video compression|
    EP1574995A1|2004-03-12|2005-09-14|Thomson Licensing S.A.|Method for encoding interlaced digital video data|
    TWI237496B|2004-03-24|2005-08-01|Realtek Semiconductor Corp|Method and apparatus for de-interlacing video data through utilizing motion compensation|
    TWI255643B|2005-02-24|2006-05-21|Weltrend Semiconductor Inc|Method for defining chromaticity regions according to luminance levels and adjusting chromaticity of images accordingly|
    TWI273512B|2005-03-01|2007-02-11|Weltrend Semiconductor Inc|Luminance-based video's saturation adjusting method|
    US7567294B2|2005-03-28|2009-07-28|Intel Corporation|Gradient adaptive video de-interlacing|
    US20080018788A1|2006-07-20|2008-01-24|Samsung Electronics Co., Ltd.|Methods and systems of deinterlacing using super resolution technology|US20090060373A1|2007-08-24|2009-03-05|General Electric Company|Methods and computer readable medium for displaying a restored image|
    KR100939917B1|2008-03-07|2010-02-03|에스케이 텔레콤주식회사|움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법|
    US8325796B2|2008-09-11|2012-12-04|Google Inc.|System and method for video coding using adaptive segmentation|
    US20100232511A1|2009-03-12|2010-09-16|Himax Media Soltuions, Inc.|Motion compensator, motion compensating method, and motion-compensated video decoder implementing the same|
    GB2484071B|2010-09-23|2013-06-12|Imagination Tech Ltd|De-interlacing of video data|
    JPWO2012066866A1|2010-11-17|2014-05-12|三菱電機株式会社|動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法|
    US9154799B2|2011-04-07|2015-10-06|Google Inc.|Encoding and decoding motion via image segmentation|
    US8891627B1|2011-04-18|2014-11-18|Google Inc.|System and method for coding video using color segmentation|
    CN102932581B|2011-08-08|2016-03-30|联咏科技股份有限公司|图像处理电路及图像处理方法|
    US9262670B2|2012-02-10|2016-02-16|Google Inc.|Adaptive region of interest|
    US9277168B2|2012-06-29|2016-03-01|Advanced Micro Devices, Inc.|Subframe level latency de-interlacing method and apparatus|
    TWI571828B|2013-01-02|2017-02-21|奇高電子股份有限公司|光學導航方法以及相關裝置|
    US9392272B1|2014-06-02|2016-07-12|Google Inc.|Video coding using adaptive source variance based partitioning|
    US9578324B1|2014-06-27|2017-02-21|Google Inc.|Video coding using statistical-based spatially differentiated partitioning|
    US20160345018A1|2015-05-19|2016-11-24|Microsoft Technology Licensing, Llc|Video encoding and decoding|
    CN106550238B|2015-09-16|2019-09-13|福州瑞芯微电子股份有限公司|一种图像处理方法及系统|
    EP3296749B1|2017-01-27|2019-01-23|Sick IVP AB|Motion encoder|
    US10612951B2|2017-05-31|2020-04-07|Pixart Imaging Inc.|Optical flow sensor, methods, remote controller device, and rotatable electronic device|
    法律状态:
    2020-07-11| MM4A| Annulment or lapse of patent due to non-payment of fees|
    优先权:
    申请号 | 申请日 | 专利标题
    US90994507P| true| 2007-04-04|2007-04-04||
    [返回顶部]